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Изложены базовые принципы обучения и использования нейронной сети «Неокогнитрон». Показаны особенности модифика- 
ций неокогнитрона, инвариантного к вращению и с переменной селективностью. Предложены варианты расширения данной па- 
радигмы для уменьшения избыточности сети. 


Идея неокогнитрона впервые была предложена 
Фукушимой в [1-4] как универсальная система 
распознавания двумерных образов. Считается, что 
организация работы неокогнитрона наиболее 
близка к процессам, происходящим в зрительной 
коре головного мозга человека. К главному досто- 
инству системы можно отнести её нечувствитель- 
ность к позиционным сдвигам, масштабированию 
и зашумлениям анализируемого образа. Процесс 
классификации разбивается на этапы, каждый из 
которых характеризуется анализом содержательно 
различных признаков, но выполняется согласно 
общей процедуре. На каждой стадии обработки 
происходит выделение существенных свойств вы- 
ходов предыдущей стадии и формирование сжато- 
го представления этих свойств для следующего эта- 
па обработки. Важно подчеркнуть, что на любом 
текущем шаге в качестве входных используются 
только данные, являющиеся выходом предыдуще- 
го шага. На рис. 1 приведена иллюстрация поэтап- 
ного функционирования неокогнитрона. 
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Рис. 1 . Этапы иерархического извлечения свойств неокогни- 
троном 

Каждая стадия обработки выполняется фикси- 
рованными слоями неокогнитрона. Первоначаль- 
ный слой нейронной сети носит название входного 
или рецептивного. Послойная обработка образа 
выполняется до тех пор, пока не будут найдены его 
меры сходства со всеми классами, известными сети. 

Нейронные клетки соединены между собой по- 
средством передаточных устройств - синапсов, ко- 
торые, помимо прочего способны усиливать либо 
гасить сигнал. Можно сказать, что все знание о за- 
поминаемых объектах, накапливаемое в процессе 
обучения сети, сконцентрировано в величинах си- 
лы передачи синапсов между нейронными клетка- 
ми. В отличие от полносвязных моделей нейронных 
сетей, в которых все нейроны текущего слоя соеди- 
нены со всеми нейронами предшествующего слоя, 


в неокогнитроне нейроны соединены только с 
определенной областью нейронов предыдущего 
слоя, называемой областью связи. Каждый слой 
нейронной сети состоит из непересекающихся 
фрагментов, называемых плоскостями нейронов. 
На наш взгляд термин «плоскость» не совсем уда- 
чен, но мы будем его употреблять, учитывая его тра- 
диционность. Плоскость нейронов - это область, 
состоящая из нейронов, обрабатывающих соседние 
фрагменты анализируемого образа, и служащая для 
распознавания или сжатия информации. 

В состав неокогнитрона для распознавания вхо- 
дит несколько видов нейронных клеток, а именно 
простые (8-клетки) и сложные (С-клетки). Эти 
клетки составляют плоскости соответственно про- 
стых (8-) и сложных (С-) плоскостей. Основная за- 
дача простых плоскостей - производить извлече- 
ние существенных характеристик. Каждая 8-пло- 
скость обучена так, чтобы реагировать на опреде- 
ленный входной вектор. 8-плоскости разбиты на 
пересекающиеся области - области конкуренции. 
В каждой области конкуренции, после возбужде- 
ния плоскости, определяется нейрон с максималь- 
ным значением выходного сигнала, выходы же 
остальных нейронов из этой области становятся 
равным нулю. Такой эффект носит название боко- 
вого или латерального торможения. Вообще гово- 
ря, торможение - процесс влияния одного нейро- 
на на другой с целью уменьшения выходного сиг- 
нала последнего, целью процесса возбуждение на- 
против является увеличение выходного сигнала 
нейрона, на который производится воздействие. 

Каждая 8 -клетка из простой плоскости на вход 
получает вектор из областей связей сложной пло- 
скости предыдущей стадии. Набор весовых коэффи- 
циентов синапсов, соединяющих область связи и 
каждую 8-клетку одинаков для всех 8-клеток, нахо- 
дящихся в одной 8-плоскости. Это гарантирует, что 
существенные характеристики объекта будут обна- 
ружены вне зависимости от их расположения на 
входной плоскости клеток. С-клетка последующей 
сложной плоскости активируется (выдает сжатое 
приближение), если активна хотя бы одна 8-клетка, 
входящая в область связи данной С-клетки. 

Заключительный этап обработки реализуется 
алгоритмом «победитель забирает все» - среди всех 
выходов сети выбирается максимальный, соответ- 
ствующий наиболее похожему из запомненных 
классов. 
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Помимо 8- и С-клеток в состав неокогнитрона 
входят тормозящие Ѵ-клетки. Если С-клетки слу- 
жат для возбуждения 8-клеток, то Ѵ-клетки служат 
для торможения последних. Выходом Ѵ-клетки слу- 
жит среднее значение выходных сигналов сложных 
нейронов, попадающих в область связи. Следует за- 
метить, что каждой 8-клетке соответствует одна 
Ѵ-клетка, причем их области связи одинаковы. 

Все синапсы в нейронной сети принадлежат од- 
ному из следующих классов: 

1) модифицируемые возбуждающие: а,(ѵ,р,к) - ис- 
пользуются для возбуждения 8-клетки из ре- 
цептивных областей С-клеток, здесь и ниже / - 
номер слоя, к - номер плоскости, ѵ - располо- 
жение синапса внутри области связи, р - номер 
С-плоскости, в которой располагается связь; 

2) немодифицируемые возбуждающие: с,(ѵ) - ис- 
пользуются для активации Ѵ-клеток из обла- 
стей связи С-клеток, - для возбуждения 
С-клеток из рецептивных полей 8-клеток и 
е{і,п,к) - при латеральном торможении 8-кле- 
ток внутри областей конкуренции, где і — рас- 
положение синапса внутри области конкурен- 
ции между нейронами; 

3) модифицируемые тормозящие: Ъ,(к) — исполь- 
зуются для торможения активности 8 -клеток 
активностью соответствующей Ѵ-клеткой; 

4) немодифицируемые тормозящие: е{і,п,к) - ис- 
пользуются при латеральном торможении 
8-клеток внутри областей конкуренции. 


Плоскости Плоскость Плоскости 

С-клеток Ѵ-клеток 8-клеток 



Рис. 2. Связи между нейронами слоев плоскостей С-, V- и 
5 -клеток 


С-клеток попадают в область связи выделенных 
8 -клеток и служат для возбуждения отмеченной на 
рисунке тормозящей Ѵ-клетки. 

После попадания образа на входной слой нео- 
когнитрона последовательно возбуждаются слои из 
простых и соответствующих им сложных плоско- 
стей. Выход 8-клетки на позиции п в к - той плоско- 
сти слоя / вычисляется как 


Ѵ$,( п >к) =г,(р 


К 


С 1-1 


1+ ^ ^ щ (ѵ, р, к) ■ ІІ СІ (я + ѵ, к) 

р-1 ѵёА/ 

1 + -^.Ь 1 (к)-Ѵ ѴІ (п) 

П + 1 


-1 


где А, - область связи соответствующей 8-клетки, 
г, - параметр селективности (степень близости 
входного сигнала и сигнала, которому были науче- 
ны синапсы клетки), функция <р(...) есть порогово- 
линейная функция: 


ср(х) = 


0, і/ х < 0 
х, і/ х> 0. 


Выход оказывающей тормозящее действие на 
соответствующие ей 8-клетки Ѵ-клетки на пози- 
ции п слоя / описывается выражением: 

= Т. с і( ѵ )-Ѵсі- М + Ѵ,р). 

у р=1 ѵеА/ 

К СІ - количество С-плоскостей в слое /. 

Плоскости 8-клеток делятся на перекрываю- 
щиеся области конкуренции, внутри этих областей 
обучается только один нейрон, обладающий мак- 
симальным значением выходного сигнала. Пода- 
вление активности нейронов-соседей в области 
конкуренции происходит методом латерального 
торможения, аналогичного используемому в ней- 
ронной сети МАХКЕТ [5]. 

Чтобы избежать длительной итеративной про- 
цедуры исключения слабейших выходов в [6] пред- 
ложена модель ускоренного латерального тормо- 
жения (рис. 3). 


Плоскость 8 -клеток 


Плоскость латерального 
торможения 




е^(і,п,к) 
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Связи латерального торможения 
Возбуждающая связь 


Рис. 3. Ускоренное латеральное торможение 


На рис. 2 представлен пример связей между С-, 
V- и 8-клетками. Темные клетки в плоскостях 


Выход нейрона на позиции п плоскости к слоя / 
латерального торможения описывается формулой: 
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Ѵ,і(п,к) 


1 + Ц^ 5 і(п,к) 

1 + ^2 і е І (і,п,к)-ІІ 8 ,{п + ѵ,к) 

ІСіІ і 


Значения весов тормозящих синапсов области 
конкуренции берутся из расчета: 

УДе,(і,п,к) = Т 


где I, — область конкуренции внутри слоя /. После 
извлечения свойств и определения нейрона-поб- 
едителя в каждой области конкуренции происходит 
активация сложных плоскостей. Выход С-клетки на 
позиции п в к - той плоскости слоя / выражается как: 


и с ,(п,к)=у/ 


К 5/ 

X ЛР’ к '>-Ц СІ і ( ѵ ) • ■ Ѵ и (и + V, р) 

р = 1 ѵеБ[ 


ч 


Весовые коэффициенты а{у,р,к) и Ь,(к) в начале 
обучения устанавливаются близкими нулю и далее 
вычисляются в процессе обучения неокогнитрона. 
Значения остальных весовых связей берутся следу- 
ющим образом: 

ф) = ѵП 
ф) = 8 г 8Д 

где у/>0, <5,<1 и <5,>0. 

Как уже отмечалось выше, настройке подлежат 
значения весов а(ѵ,р,к ) и Ь,(к). После определения 
нейрона-победителя в каждой рецептивной обла- 
сти производится настройка его весов: 

Да, (ѵ, р, к) = д, ■ с, (ѵ) • Ѵ а (п кІт + ѵ, р), 

АЬ І (к) = д І -Щ,( п к1т ). 


где В/ - область связи соответствующей С-клетки, 
І(р,к) — число связности р-той 8-плоскости и к - той 
С-плоскости. (Фукушима [1] предполагал величину 
Лр,к) равной 1). Функция <р(...) определяется как: 


ц/(х) 


<р(.х) 

1 + <р(х) 


Пример соединения плоскости латерального 
торможения и плоскости сложных клеток приве- 
ден на рис. 4. 

Плоскость латерального Плоскость 


торможения С-клеток 



Рис. 4. Пример соединения плоскости латерального тормо- 
жения И СЛОЖНОЙ ПЛОСКОСТИ 


где т - номер обучающего образа, д, - коэффици- 
ент скорости обучения. 

К сожалению, данная модель нейронной сети 
не способна к правильному определению образа, 
если последний был повернут на угол, превышаю- 
щий 30° (тестировалось на выборке из печатных 
букв). Для того, чтобы создать структуру, инвари- 
антную к вращению образа, в работах [7, 8] была 
предложена модель, основанная на стеках плоско- 
стей клеток. Двумерный вариант нейронной сети 
(положение образа по осям X и У) был изменен на 
трехмерный (добавился угол поворота образа отно- 
сительно запомненного вектора). При прохожде- 
нии сигнала по сети 8-/С-клеток, плоскость, нахо- 
дящаяся на вершине стека, получает входной век- 
тор без изменений. На вход последующей в стеке 
плоскости 8-/С-клеток поступает тот же вектор, но 
умноженный на матрицу вращения на определен- 
ный угол поворота, заданный проектировщиком 
сети (нами был взят угол 25°). На вход третьей пло- 
скости - образ с углом поворота 25°+25° = 50° и т. д. 
В работе [7] показано, что при наличии стеков пло- 
скостей с углами поворота 90, 180 и 270° нейронная 
сеть способна безошибочно распознавать 85,3 % 


по 
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X,- Простые нейроны 

Рис. 5. Структура неокогнитрона, инвариантного к вращению образов. Примечание: 1/57, ІІ52, ІІ53 
ІІС2, ІІСЗ ~ слои С-плоскостей, ІЮ ~ входной слой 
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Стеки плоскостей клеток 


слои 5-плоскостей, ІЮ, 
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образов символов против 76,2 % образов, опознан- 
ных классическим неокогнитроном. 

Графическое представление модели стеков пло- 
скостей представлено на рис. 5. 

Дальнейшим расширением способности к рас- 
познованию этой нейронной сети является регуля- 
ция параметра селективности г кІ . В работе Гильде - 
брандта [9] разработан алгоритм настройки данно- 
го параметра. Основная идея алгоритма Гильде - 
брандта состоит в том, чтобы производить регуля- 
цию селективности 8 -клеток, при этом области 
связи в разных 8 -плоскостях были как можно боль- 
ше без взаимного перекрытия. После обучения 
вектор весов 8 -клетки а, становится пропорциона- 
лен вектору суммы входных обучающих векторов: 

Ѵсі-\,& Ѵсі- \,2+ ^с/-і,з+- 

Практически [10] данный метод определяет се- 
лективность клетки на основе усредненных об- 
учающих характеристик. Таким образом, метод 
Гильдебрандта не гарантирует, что среди всей об- 
учающей выборки не найдется вектора, не попа- 
дающего в требуемую область связи, рис. 6. 



Рис. 6. Пример непопадания обучающего вектора ( в данном 
случае ІІ а -ц) в область связи с селективностью г к! , со- 
ответствующей углу Ѳ 



Рис. 7. Определение значения отклика 5- клетки при её воз- 
буждении тремя обучающими векторами после об- 
учения 


Значения отклика 8 -клетки при её активации 
векторами І7 с/ _ и , І7 С ,_ и и ІІ СІ _ 13 равны соответствен- 
но 0, длине вектора О В и длине вектора ОС (рис. 7). 

Одним из решений отмеченной проблемы об- 
учающей выборки может стать настройка селек- 
тивности, при котором гарантируется минималь- 
ный отклик 8 -клетки на все обучающие образы 
ІІ 3 , щіп. Основанный на такой настройке метод назы- 
вают «близкое к оптимуму обучение, основанное 
на характеристике» (8иЬ-Ор1іта1 Реаіиге-Ъазесі 
Тгаіпіп§, 80РТ) [11-13]. Параметр ІІ 51т[п выбирают 
в пределах от 0 до 1. 

В [12] показано, что изменение селективности 
г ы разумно производить, первоначально настраивая 
весовые коэффициенты слоя, а затем модифици- 
руя селективности. Таким образом, первоначально 
инициализируется начальное значение селектив- 
ности г кІ и значение минимального отклика клетки 
тіп Хад , затем производится активизация слоя 
т-тым обучающим вектором, и, если активация 
клетки победителя в области конкуренции 
Х$і(п к ітЛ) меньше текущего минимума отклика, 
производится обновление текущего минимума на 
величину активации победителя, т. е. если 
Мщ Іт ,к)<т іпѵ , то ті п Хщ =Х 5І (п ш ,к). После предъя- 
вления всех обучающих образов начинается на- 
стройка параметра селективности г кІ : 


Г к1 + шіп 


X $і {к ) 


г ы + 1 


-V 


5 1 П1ІП 


г ы = 


Г к , + тіп 


X 5і (к ) 


Г, + 1 


Рис. 8 наглядно иллюстрирует изменение ре- 
цептивной области по сравнению с ситуацией, по- 
казанной на рис. 7. Ясно, что в последнем случае 
все обучающие вектора попадают в требуемую ре- 
цептивную область. Заметим, что при этом проис- 
ходит и увеличение значений выхода клетки при 
возбуждении векторами {/ см 2 и ІІ а _ и . 



Рис. 8. Уменьшение селективности рассматриваемой 
5- клетки 
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8-клетаа №2 


8-клетка №1 


8-клетка №3 


До обучения 
Рис. 10. Пример изменения селективности 



При данном обучении может случиться, что все 
вектора ІІ а _^ приблизительно равны, тогда селектив- 
ность рецептивной области примет вид узкого лепе- 
стка (высоко селективная клетка). Если же на вход 
клетки поступит сигнал, значительно отличающийся 
от остальных, то селективности нейронов существен- 
но уменьшатся. Пример изменения селективности 
клеток представлен на рис. 10. Селективность клеток 
№ 2 и 3 увеличилась, а клетки № 1 — уменьшилась. 

Представленные результаты служат основой 
для дальнейших исследований по повышению эф- 
фективности неокогнитрона. Далее планируется 
провести работы в двух направлениях. Первое - 
построение расширенной иерархической модели 
на основе уже обученной сети. Второе направление 
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